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Resumen 


La usabilidad juega un papel clave en el aumento de la satisfacción del usuario 
y los beneficios para los sitios Web. Sitios exitosos y fáciles de usar son el 
resultado de un proceso de diseño centrado en el usuario con un fuerte énfasis 
en la evaluación. La evaluación de la usabilidad puede ser una tarea que 
consume tiempo y es cara. Para hacer frente a esta situación este trabajo de 
investigación presenta un enfoque heurístico donde las técnicas de minería de 
datos ayudan a determinar las relaciones entre los diferentes componentes de 
usabilidad propuestos en la literatura y permiten descubrir problemas en su 
uso. 


El objetivo principal de esta propuesta es utilizar este conocimiento para 
sugerir qué componentes deben ser mejorados y así aumentar la usabilidad 
web y, por lo tanto, un camino prometedor para simplificar y mejorar el 
desarrollo web. Con el fin de validar el método, se llevaron a cabo algunos 
experimentos preliminares mediante la aplicación de técnicas de minería de 
datos a un conjunto de datos que contiene los informes de evaluación de los 
diferentes sitios Web. Los resultados obtenidos hasta el momento son 
promisorios. 


1 Introducción 


Hoy en día la web es una herramienta fundamental en todos los campos 
(científicos, educativos, empresarial, económicos entre otros); por tal razón las 
empresas diseñan sitios web para ofrecer sus servicios a los usuarios. En este 
contexto es cuando toma un papel preponderante la usabilidad, que tiene como 
objetivo medir la facilidad de uso, la eficacia, eficiencia y satisfacción con la que 
un producto es usado por usuarios en un contexto especifico, según se define 
en el estándar internacional ISO 9241-11. En la actualidad no hay una forma 
estándar para evaluar la usabilidad web cuantitativa y cualitativamente. Se 
utilizan diferentes enfoques, tales como analítico y empírico [1]. Sin embargo, 
sigue siendo un desafío definir criterios aceptables para la evaluación de la 
usabilidad web, y las empresas invierten grandes cantidades de dinero para 
evaluar las aplicaciones Web y sitios Web, ya que esto les permite mantener a 
un usuario o cliente satisfecho, mantener una buena reputación, aumentar las 
ventas y los ingresos. 


Es importante considerar los beneficios de usabilidad en el momento de 
diseñar un sitio web ya que implican una reducción general de los costos así 
como la optimización y aumento en la productividad. Con el fin de optimizar 
estos costes sobre todo de diseño, rediseño, mantenimiento, asistencia y 
ayuda al usuario y aumentar la satisfacción del usuario se propone un enfoque 
heurístico basado en los componentes de usabilidad (Aprendizaje, Eficiencia, 
Memorización, Prevención de Errores y Satisfacción) definidos por Nielsen [2] 
Nuestro enfoque aplica técnicas de descubrimiento de conocimiento para 
determinar las relaciones entre las diferentes heurísticas, entre los atributos y 
componentes, y descubrir problemas en el uso de patrones de usabilidad. El 
objetivo principal es utilizar este conocimiento para sugerir qué componentes 
deben ser mejorados para aumentar la usabilidad web. Los patrones y las 
relaciones encontradas pueden ser útiles para los diseñadores de sitios Web 
que les dan pistas sobre qué priorizar y, mejorar la usabilidad del sito. 


La propuesta se organiza de la siguiente manera. En la sección 2 se describen 

conceptos básicos frecuentemente en el documento actual. En la sección 3 se 
muestran algunos trabajos relacionados. La sección 4 contiene la visión 
general del enfoque propuesto. Finalmente, en la sección 5 se describe el 
estado actual de la tesis y se detalla el cronograma de tareas por realizar 


2 Marco Teórico 


En esta sección se describen algunos conceptos básicos relacionados al área 
de Usabilidad y al área de Minería de Datos. 


2.1 Usabilidad Web 


La usabilidad es un atributo de calidad que evalúa la facilidad de uso de un 
producto. Según el estándar internacional ISO 9241-11 la usabilidad hace 
referencia a la magnitud en que un producto puede ser usado por usuarios 
específicos para alcanzar atributos como Aprendizaje, Eficiencia, 
Memorización, Prevención de Errores y Satisfacción en el uso de un contexto 
específico [2],. 


A continuación se da una breve descripción de cada atributo o componente de 
usabilidad: 


Aprendizaje. Es el objetivo fundamental de la usabilidad, ya que los sistemas 
necesitan ser fáciles de aprender desde la primera experiencia que tenga un 
usuario ya sea novato o experimentado. Tomando en consideración que el 
usuario no dedica tiempo para aprender una interfaz completamente después 
de iniciarla, el sistema debe ser fácil de aprender de forma que el usuario 
pueda realizar rápidamente una tarea específica en el sistema. 


Eficiencia. El uso del sistema debe ser eficiente, diseñado no sólo para un 
usuario experimentado, sino para cualquier tipo de usuario. Se puede observar 
su eficiencia en la medida que a un usuario le toma tiempo realizar una tarea 
específica y con esto se mide el nivel de productividad. 


Memorización. El sistema debe ser fácil de recordar, de modo que el usuario 
utilice el sistema y sea capaz de volver a hacerlo después de algún periodo de 
tiempo, sin tener que aprender su manejo nuevamente. 


Prevención de Errores. El sistema debería tener un control muy alto de 
errores, de esta manera los usuarios cometerían pocas equivocaciones durante 
el uso del sistema; Debe tener mensajes extremadamente explicativos de 
forma que si ellos cometen errores puedan fácilmente saber qué hacer. Se 
debe reducir en lo posible los errores accidentales como la pérdida de un 
archivo por eliminación, sin intensión del usuario, debido a que no visualizó un 
mensaje de advertencia. 


Satisfacción. El sistema debe ser agradable para usar, de modo que los 
usuarios estén subjetivamente satisfechos cuando lo estén usando. 


2.2 Métodos de Evaluación de la Usabilidad. 


Existen diferentes métodos para evaluar la usabilidad de un contexto dado. En 
la Tabla 1 se muestra un resumen de los métodos de evaluación de usabilidad 
encontrados en la literatura, en la que se indican características relevantes de 
cada método. 


El método de evaluación heurística es un método para encontrar problemas de 
usabilidad en un diseño de interfaz. Este método contribuye substancialmente 
sobre los resultados de la interfaz siempre que sea usado durante el ciclo de 


vida del proyecto. 
TABLA 1 RESUMEN DE MÉTODOS DE EVALUACIÓN DE USABILIDAD 
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Fuente: Usability Engineering [2] 


2.3 Proceso de descubrimiento del conocimiento (o KDD). 


Con la necesidad de poder manejar grandes cantidades de datos, algunas 
décadas atrás surge un área de estudio que se denomina descubrimiento del 
conocimiento en grandes volúmenes de datos (KDD, del inglés Knowledge 
Discovery in Databases), el cual identifica patrones no triviales, válidos, 
novedosos y potencialmente útiles [3]. El proceso de KDD tiene las siguientes 
etapas para realizar la extracción del conocimiento: selección de datos, 
limpieza de datos, integración de datos, transformación de datos, reducción de 
datos, minería de datos, evaluación de patrones e interpretación de resultados.. 


La Minería de Datos es la tarea de descubrir patrones sugerentes, tendencias 
o reglas que expliquen el comportamiento de una gran cantidad de datos, los 
mismos que pueden ser almacenados en bases de datos, datawarehouse, u 
otros repositorios de información [4]. 


Las técnicas de minería se distinguen generalmente entre descriptivas (en las 
que todas las variables inicialmente tiene el mismo estatus), predictivas (en las 
que las variables pueden clasificarse en dependientes e independientes) y 
auxiliares (o herramientas de apoyo) [5]. 


Se muestra una clasificación de las técnicas de Minería de Datos. 


Regresión 

Métodos bayesianos 
Algoritmos genéticos 
Arboles de decisión 


Predictivas 


Descubrimiento 


e Clustering 
Descriptivas Asociación 
Escalamiento multidimensional 


DpO”=30m>] 


Proceso Analítico de Transacciones (OLAP) 
SQL y herramientas de consulta Verificación 


Otras Reporting 


Fuente: Pérez y Santín 2007 [5] 


Las técnicas de minería de datos que se utilizarán en este trabajo son: reglas 
de asociación, y clasificadores como árboles de decisión y clasificador Naive 
Bayes. A continuación se describe brevemente cada una de estas técnicas. 


2.3.1 Reglas de asociación 
Esta técnica genera reglas a partir de un conjunto de elementos de datos. Las 
mismas asisten al usuario para encontrar: relaciones entre atributos, soporte 
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para toma de decisiones, análisis de información de marketing y predicción, 
que puede incluir información como la probabilidad, el soporte o la importancia 


[6]. 


Según la definición de Agrawal [7] el problema de minería de reglas de 
asociación se define como: 


Sea I = (llo, ... ... i,, y un conjunto de n atributos llamados ítems. 


Sea D = (ti, tz, ... ... tj un conjunto de transacciones almacenadas en 
una base de datos. 


Cada transacción en Dtiene unID único (identificador) y contiene un 
subconjunto de Ítems de ] 


Sea X =un conjunto de elementos X E I 
Una regla de asociación es una implicación de la forma: X > Y 
Donde: X,Y<I y XNY=0 


En el cual X e Y son conjuntos de ítems, Xy Y se denominan 
respectivamente "antecedente" (o parte izquierda) y "consecuente" (o parte 
derecha) de la regla. 


Las reglas d0e asociación tienen dos métricas vinculadas, el soporte y la 
confianza. 


El soporte es la probabilidad de que una transacción contenga (X, Y) 


La confianza es la probabilidad condicional de que una transacción que 
contenga [(X) también contenga (Y) 


Las reglas se evalúan de acuerdo al soporte y a la confianza de las mismas, 
donde la cobertura se llama soporte y la precisión se llama confianza, donde: 


Soporte (X > Y ) = P(XUY) 


] soporte(X U Y) 

Confianza (X > Y ) = P(XIV) = REO 

Se consideran reglas aceptables aquellas que tienen altos valores de soporte y 
confianza. Se discrimina cuando el soporte es mayor que un valor de soporte 
mínimo y la confianza es mayor que un valor de confianza mínima. Con estas 
restricciones se buscan pares atributo-valor que cubran una gran cantidad de 
instancias. Los umbrales (soporte mínimo y confianza mínima) son 
especificados por quien realiza el análisis [8]. 


A través de los años se han diseñado numerosos algoritmos para obtener 
reglas de asociación. El más tradicional es el algoritmo A priori. Es un algoritmo 
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básico para encontrar conjunto de ítems frecuentes. El nombre del algoritmo es 
basado sobre el hecho que el algoritmo usa previo conocimiento de 
propiedades del conjunto de ítems frecuentes [4]. Apriori emplea un enfoque 
iterativo conocido como búsqueda de un nivel equilibrado, donde k-itemsets 
son usados para explorar (k+1)-itemsets. Primero, el conjunto de frecuencia 1- 
itemsets se encuentra. Este conjunto es expresado como L1, el cual es usado 
para encontrar L2, el conjunto de 2-itemsets frecuentes, que es usado para 
encontrar L3 y así sucesivamente, hasta que no se puedan encontrar más k- 
itemsets frecuentes. El descubrimiento de cada Lk requiere un análisis 
completo de toda la base de datos. 


2.3.2 Clasificadores 


Un clasificador es una forma de análisis que facilita la función de clasificar una 
instancia dada, por una serie de atributos de una o de diferentes clases 
predefinidas. Existen varios métodos de clasificación propuestos. A 
continuación se describen algunas de las técnicas básicas de clasificación 
para la extracción de modelos o predicción de futuras tendencias tales como: 
arboles de decisión y clasificadores bayesianos [8]. 


Árbol de decisión 

Un árbol de decisión es una estructura obtenida mediante la inducción de datos 
ejemplo Di, los cuales se caracterizan por tener valores de atributos Aij y el 
valor del predicado meta al que se le denomina Clasificación del ejemplo Ci. El 
procesamiento de Ci genera una secuencia de nodos N de forma arbórea, que 
parte de un nodo inicial o raíz y termina con el nodo respuesta (hoja) 
atravesando por nodos internos (ramas). Cada nodo interno testea uno o varios 
atributos de Nij, determinando la descendencia del siguiente nodo [4]. El 
algoritmo clásico para generar arboles de decisión es el 1D3 [9]. 


En la Figura 1 se muestra la estructura general de un árbol de decisión para el 
concepto “Buen día para jugar tenis”1 que modela la percepción del “tiempo 
adecuado para jugar tenis” a partir de los datos climáticos. Puede observarse 
que cada nodo interno representa una evaluación sobre un atributo, las ramas 
son los posibles valores para el atributo en cuestión; los rectángulos 
representan las clases consideradas. 

Simbología del árbol representado en la Figura 1 
Atributo(Nodo raíz) 
Atributo(nodo ) 
Valor(ramas) 





Clase(hojas) 


00 


FIGURA 1 ÁRBOL DE DECISIÓN 





! Extraído de [4]. 
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Los arboles de decisión representan disyunciones de conjunciones sobre 
restricciones de los valores de atributos de la base de datos. Cada camino 
desde el nodo raíz hasta una hoja representa una conjunción de atributos 
evaluados y el árbol representa la disyunción entre estas conjunciones. Por 
ejemplo el árbol de la figura representa a la expresión: 


(Tiempo = Soleado * Humedad = Normal) V (Tiempo = Nublado) V (Tiempo = 
Lluvia * viento = Débil) 


La construcción de árboles de decisión puede partir de un conjunto 
relativamente pequeño de datos (instancias) de entrenamiento. Sin embargo, 
esto podría aumentar la presencia de “ruido” (información incorrecta o 
incompleta) [4]. 


Clasificador Bayesiano 

Un clasificador bayesiano categoriza a una instancia descrita por una serie de 
características o atributos con una etiqueta “clase”, en una o diferente clases 
predefinidas. 


FIGURA 2 CLASIFICADOR BAYESIANO SIMPLE 


El clasificador bayesiano calcula la probabilidad de un evento por el producto 
de las probabilidades condicionales individuales de cada nodo, dado un nodo 
clase. Para ello asume que los atributos son condicionalmente independientes 
entre sí [4], de tal manera que no existen arcos entre ellos, como se visualiza 
en la Figura 2 


[8]El Teorema de Bayes es el sustento para la definición de estos 
clasificadores, representado en la siguiente ecuación: 


P(O|h).P(h) 

P(h|0) = PO) 

Donde aparecen la problabilidad a priori de la hipótesis (h) y de las 
observaciones (O) y las probabilidades condicionadas P(h]O) (probabilidad de 
que ocurra h, dado O) y P(OIh) (probabilidad de que ocurra O, dado h). A esta 
última se la conoce como la verosimilitud. La probabilidad a posteriori es la que 
se obtiene tras conocer cierta información sobre h. 


Si la clasificación tuviera un solo nodo padre, con una variable C y un conjunto 
de variables predictoras o atributos (Ar, Az, ...., An) la expresión anterior se 
transformaría a: 


13 


P(C|ALA2 E P(A1,A2, ...., An|c).P(c) 

AA DS BR AAZ  dn) 

Si ahora se toma en cuenta que C tiene un conjunto de valores (Cs, Cz, ...., Cn), 
lo que interesa es determinar el más plausible o relevante, es decir aquella con 
la máxima probabildiad a posteriori, conocida como la hipótesis máxima a 
posteriori o hipótesis MAP. 

Ñ P(A1, A2,...., An|c).P(c) 
MI OA) 

Donde (1, representa el conjunto de valores que puede tomar la variables C. 
Debido a que el divisor sería el mismo para todas las categorías se puede 
suprimir, quedando: 


CmAP = Agcen, max P(A1, AZ, ...., An|c). P(c) 


Por tanto, los parámetros para estimar cy¿p son P(Ai | c) para cada atributo y la 
probabilidad a priori de la clase P(c). 


Dependiento del atributo Ai se puede aplicar cálculos dependiendo si es 
discreto o continuo. Para este trabajo se aplican los atributos discretos, donde 
la frecuencia de estimación se basa en frecuencias de aparición en la base de 
datos. Si se define a n(xi, Pa(xi)) al número de registros de la base de datos en 
la que la variable X;¡ toma el valor xi y a los padres de X¡ se los denomina 
Pa(xi), se puede calcular: 


n(x; |Pa(x; )) 


POP) = ray) 
Es decir, el número de casos favorables dividido para el número de casos 
totales. A esto se conoce como estimación por máxima verosimilitud, la cual 
tiene dificultades por que requiere de una muestra de gran tamaño y además 
sobreajusta los datos. Por esto se definieron otros esimadores más complejos 
como el basado en la ley de suceción de Laplace [10], que se presenta calcula 
con el número de casos favorables más uno dividido para el número de casos 
totales más el número de casos posibles, según la fórmula que está a 
continuación: 


n(x; |Pa(x;)) + 1 


P(x; |Pa(x; )) = n(Pa(x;)) + QM, 


14 


3 Trabajos Relacionados 


En esta sección describiremos algunos trabajos relacionados a esta propuesta. 


Para lograr que un software o sitio web permanezca en el mercado se debe 
logar que su usuario o visitante tenga una experiencia satisfactoria, que le 
permitan, entre otras cosas, ejecutar sus operaciones de manera efectiva y 
eficiente o encontrar lo que busca en el menor tiempo posible. Para lograr este 
objetivo es necesario evaluar la usabilidad del producto, a fin de desarrollar o 
corregir sistemas informáticos que cumplan las expectativas deseadas. 


Enfocándose en el análisis de usabilidad de los sitios web, existen diversos 
métodos y técnicas para evaluarlos [11], entre ellos constan el uso de 
directrices [Neilsen], bajo componentes de distinción en la página web 
[McLaughin y Skinner] o mediante métricas de diseño de páginas web [Ivory]. 
Las técnicas de recopilación de datos más frecuentes son: encuesta de 
Usabilidad, Inspección de usabilidad y usabilidad formal [12]. También se 
destacan el uso de evaluación heurísticas [13] [12] [14] [15], reacciones de 
usuario [16] [17] y medidas de rendimiento [14] [17]. 


En cuanto a los métodos, normalmente se realizan observaciones de análisis 
estadísticos [14] [17], entre ellas, algunos profundizan en evaluaciones 
basadas de análisis de varianza y distribución de Pearson [13]. También se 
puede aplicar regresión lineal [17]con el fin de establecer modelos de 
predicción para detectar falencias, tomando en consideración los principios de 
usabilidad y algunas métricas de páginas web. Adicionalmente, se suele aplicar 
herramientas de minería de datos tales como reglas de asociación y árboles de 
decisión [18]. 


Se pueden utilizar enfoques multicriterio como QFD (Despliegue de la función 
calidad) y AHP (Proceso Analítico Jerárquico), para vincular las características 
y técnicas con usabilidad y costos para contribuir potencialmente con el 
objetivo de satisfacer al cliente y determinar preferencias de usuarios en 
cuanto a productos de calidad actual y deseado [13] 


La obtención de métricas y modelos de valoración orienta a los desarrolladores 
hacia la minimización de posteriores modificaciones en el diseño, reducción del 
tiempo de producción y genera una mayor participación del usuario en todas 
las etapas del desarrollo del software [19] así como también influye en la 
aplicación de un ciclo de vida completo centrado en el usuario con mejores 
mecanismos de navegación y aptitudes de presentación [16]. 


Los trabajos indicados muestran estudios relacionados con usabilidad pero no 
se abarca con los 5 componentes propuestos por Nielsen [2]. Se plantea 
agregar conjuntamente a las técnicas de minería de datos como árbol de 
decisión, reglas de asociación y redes bayesianas para generar modelos que 
guíen a los desarrolladores sobre las principales secuencias de errores de 
usabilidad así como las prioridades de atención de cada componente y criterio . 
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En la Tasa 2 se describe un resumen en forma de modo comparativo algunos 
trabajos de investigación relacionados con la aplicación de minería de datos a 
la mejora de usabilidad en sitios web. 


Como hemos visto, existen variedades de sistemas informáticos y métodos 
estadísticos para evaluar la usabilidad de un software o sitio web. En la Tabla 
4 se puede observar una comparación del trabajo propuesto y algunos trabajos 
relacionados comparando los métodos y técnicas de evaluación de usabilidad. 
Cabe destacar que la diferencia del trabajo propuesto esta en evaluar los 5 
componentes de Usabilidad propuestos por Nielsen [2] [1] aplicando técnicas 
de minería de datos como árbol de decisión, y reglas de asociación. 


TABLA 2 TRABAJOS RELACIONADOS 


TRABAJOS 


MÉTODO DE 
EVALUACIÓN DE 


USABILIDAD 


MÉTODO ESTADÍSTICO 
DE EVALUACIÓN 


RESULTADOS OBTENIDOS 
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CRITERIO DE 
USABILIDAD MEDIDO 





[11] Evaluación Experimental 
de Usabilidad Heurística 


[18] Mejora de evaluación de 
usabilidad, a través de 
técnicas de minería de 
datos: Un nuevo enfoque 
para la detección 

de patrones de problemas 
de usabilidad para un 
contexto de uso. 


Evaluación heurística 
propuestas por 
Nielsen 


Análisis de varianza y 
distribución de Pearson 


El atributo utilidad de claridad es el más difícil de usar y el 
menos claro. Por otro lado, el atributo Estética y diseño 
minimalista (lista de necesidad) es el más fácil de usar y el 
más claro. Sin embargo, el atributo flexibilidad y eficiencia 
en el uso era percibido como el menos útil. Además, 
declaró que no es tan necesario para el atributo (prevención 
de errores) aplicar una lista de control, pero es muy 
importante para el atributo (control de usuario y libertad). 
Como resultado final, consideraron que el atributo utilidad 
de uso percibida por el usuario es la heurística más útil para 
la mejora de la usabilidad según los principios de Nielsen 


6 atributos de usabilidad 
como: la facilidad de uso, la 
utilidad, la claridad, la lista 
de necesidad, intención de 
utilizar y su integridad. 





Evaluación heurística, 
Pensando en voz alta, 
Cuestionarios, Grupo 
de enfoque, 


Técnicas de minerías de 
datos: reglas de 
asociación y árboles de 
decisión 


Sistema de evaluación cualitativa de usabilidad  QUT 
(Qualitative Usability Testing) muestra como resultados una 
lista priorizada de problemas de usabilidad. y evalúa 4 
categorías de patrones de diseño web: Diseño, Contenido, 
Navegación y Búsqueda 


Diseño 
Navegación 
Contenido 
Búsqueda 








[13] Más Allá de la 
Usabilidad de un Producto: 
La Satisfacción del Usuario y 
Calidad de Gestión 





Reacción de usuario 





Tecnicas de análisis 
multicriterio AHP (Proceso 
Analítico Jerárquico ) 


QFD (Despliegue de la 
función calidad) 





Propone una técnica que permita evaluar conjuntamente 
con la usabilidad la satisfacción del usuario y aceptación de 
un producto en el mercado. 

El enfoque multicriterio como QFD y AHP, vinculan las 
características y técnicas con usabilidad y costos para 
contribuir potencialmente con el objetivo de satisfacer al 
cliente y determinar preferencias de usuarios en cuanto a 
productos de calidad actual y deseado 





Métricas de diseño de 
páginas web 








17 





TRABAJOS METODO DE MÉTODO ESTADÍSTICO | RESULTADOS OBTENIDOS CRITERIO DE 
EVALUACIÓN DE DE EVALUACIÓN USABILIDAD MEDIDO 
USABILIDAD 
[12] Evaluando Páginas Web | Evaluación heurística | Análisis estadístico Existen diferentes métodos y técnicas para evaluar la | Métricas de diseño de 
y la Usabilidad de sitios web | Medidas de usabilidad e un sitio web, por ejemplo: Nielsen(8) propone | páginas web 
rendimiento la evaluar la usabilidad mediante directrices, McLaughin y 
Encuestas Skinner(8) miden la usabilidad bajo componentes de 
Registro del uso real distinción en la página web, Ivory (8) expone medir la 
usabilidad mediante 6 métricas de diseño de páginas web 
[16] Usabilidad de Sitios Evaluación Heurística | Análisis estadísticos El método propuesto evalúa el contexto de uso, efectividad, | Eficiencia, 
Web, Especificación de encuestas eficiencia, satisfacción de uso, aptitud de procesos de | Eficacia, 


Requerimientos de 
Usabilidad y Evaluación de 
Usabilidad 


interacción de uso, aptitud de presentación e interfaces de 
interacción de uso, con lo que se puede obtener la 
evaluación cuantitativa de usabilidad de un sitio web 
centrada en el usuario 


Satisfacción del usuario 








[14] Aprendizaje de 
Modelos de Evaluación de 
Usabilidad para Sitios Web 





Medidas de 
rendimiento 
Reacción de usuario 





Herramienta LIFT 
Machine ; para 
determinar características 
relevantes en un web site; 
análisis de regresión lineal 





Se desarrolló un sistema basado en principios de usabilidad 
y características de diseño de páginas web. El cual entrega 
modelos de predicción para mejorar las falencias 
detectadas de usabilidad en el web site de un contexto 
dado 





Métricas de diseño de 
páginas web 





TABLA 3 TRABAJOS RELACIONADOS (CONTINUACIÓN) 








TRABAJOS 





Trabajo propuesto 


111] 


[18] 


[13] 


[12] 


[16] 


[14] 



































Evaluación 
ys ea heurística ] 
TÉCNICA DE Evaluación Evaluación ron esla MOUILaS:eS E elnación ena 
EVALUACIÓN DE cd EG E , ” | Reacción de usuario rendimiento Heurística, R PS 
USABILIDAD heurística heurística Cuestionarios Enclestas entlestás eacción de 
Grupo de enfoque ; usuario 
Registro del 
uso real 
tried Tecnicas de análisis 
Minerías de datos: Hdi Aaa . 
MÉTODO reglas de Analisis ae Minerías de datos: multicriterio Ane > pis Herramienta 
ESTADÍSTICO DE l asociación. árboles | V2M'anza y eolaSderasóciación (Proceso Analítico Análisis Análisis LIFT Machine 
z Saz distribución de | '*9 clon Y. Jerárquico ) estadístico estadísticos | Análisis de 
EVALUACIÓN de decisión, árboles de decisión ED (Desoli | ientinéal 
Redes Bayesianas Pearson Q A espliegue de la regresión linea 
función calidad) 
Facilidad de 
Uso, 
Eficiencia, Utilidad, La dea 
ATRIBUTODE Eficacia, Claridad, Ios La les ea Métricas de |Eliciencia, Métricas de 
E ] Navegación, Métricas de diseño de cae Eficacia, NE 
USABILIDAD Memorización, Lista de Cóntenido aulasweb diseño de Satistacción diseño de 
MEDIDO Aprendizaje, necesidad, z : pag páginas web : páginas web 
: 5% ee Búsqueda, del usuario 
Satisfacción Intención de 
utilizar 
Integridad. 








TABLA 4 COMPARATIVA TRABAJO PROPUESTO / RABAJOS RELACIONADOS 
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4 Visión general del enfoque propuesto 


En vista de que el ambiente competitivo se agudizado y de que la gente espera 
mucho de los sitios web y cada vez son menos tolerantes con el mal diseño se 
ha visto la necesidad de encontrar mecanismos que faciliten el uso de un web 
site o de un software. Existen diversidades de métodos, técnicas y sistemas 
que estudian como poder ofrecer al usuario una forma sencilla práctica y 
eficiente en el uso y manejo de estos sistemas y/o website. Por tal razón se 
propone en este trabajo descubrir conocimiento a partir de un conjunto de 
evaluaciones heurísticas de usabilidad de sitios web y obtener patrones que 
permitan ubicar las falencias y enfocar la zona donde está el problema y 
robustecerla mediante cambios enfocados en los componentes propuestos por 
Nielsen [2] mediante pautas que se emitirán a los desarrolladores o inspectores 
de usabilidad. 


El proceso general de este enfoque se representa en la Figura 3. 


Fuente de Procesamiento de datos | Extracción información | Conocimiento | 


” 
E 


e 
U | 
Reportes 


usabilidad web 











re=procesamiento | Minería dedatos| ETT 
pre-procesamien eglas de asociación terpretación, evaluación y 


visualización 


rboles de decisión 
'edes bayesianas 





FIGURA 3 ESQUEMA DEL PROCESO DE DESCUBRIMIENTO DEL CONOCIMIENTO EN EL CONTEXTO DE USABILIDAD WEB 


En las siguientes secciones se ejemplifican los principales pasos del proceso 
propuesto, con algunos resultados preliminares obtenidos hasta el momento. 


4.1 Pre-procesamiento de datos de entrada 

En esta sección se explicarán los pasos seguidos para el descubrimiento de 
conocimiento en el contexto de usabilidad Web mediante patrones detectados 
por diversas herramientas de minería. 


El trabajo se inicia a partir de un conjunto de informes de evaluación heurística 
realizados por expertos. Para realizar dicha evaluación se definió una plantilla 
basada principalmente en los 5 componentes de usabilidad (Eficiencia, 
Eficacia, Memorización, Aprendizaje, Satisfacción) propuestos por Jakob 
Nielsen [2], pero añadiéndole 6 heurísticas más a cada componente. Estas 
heurísticas se definieron a raíz del análisis de los trabajos presentados en [2], 
[15], [17], [20]. En la Tabla 5 se muestran los componentes de usabilidad y las 
heurísticas junto con el porcentaje de importancia de cada componente 
utilizado en este análisis experimental. Cada pregunta heurística tiene definidas 
respuestas que toman el valor de cumple, no cumple o cumple parcialmente. 
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Componente 
de usabilidad 


Aprendizaje 


Eficiencia 


Memorización 


Prevención de 
Errores 


Satisfacción 





Peso 


20% 


20% 


20% 


20% 


20% 






























































Ref Preguntas Heurísticas 
El sitio y provee una retroalimentación inmediata al 

P1 | usuario indicándole la posición actual en toda la ruta de 
la tarea? 

Po Existe un mapa del sitio que proporcione una descripción 
general del contenido del sitio? 
La terminología y convenciones (como los colores de los 
links, colores y tipos de fuentes, iconos, colores de fondo, 

P3 | títulos de páginas, navegación del sitio, navegación de 
páginas, política de privacidad) son aproximadamente 
consistentes con el diseño de estándares generales? 

Pa La página de inicio se diferencia de las páginas 
secundarias? 
Los formatos de los datos están claramente indicados por 

P5 | el dato de entrada (e.g. fechas) y el dato de salida (e.g. 
unidades de medida)? 
Se encuentra en el mismo lugar las instrucciones del 

P6 | menú, los formatos de navegación y los mensajes entre 
las diferentes páginas? 

P7 | Las páginas se cargan rápido? 

P8 Los mensajes publicitarios se distingue del área de 
navegación de las páginas? 

P9 | Cada página del sitio comparte un layout consistente 

P10 | La mayoría de las páginas utilizan poco scrolling y clic? 

P1 El sitio permite que el usuario ingrese la información 
una sola vez? 

P10 El título de la página de inicio provee buena visibilidad 
para poder ser localizadas por motores de búsqueda? 

P13 | Permite el sitio deshacer/cancelar y rehacer acciones? 

P14 Las palabras, frases y conceptos utilizados son familiares 
para cualquier usuario convencional? 

P15 Los títulos y subtítulos son cortos, fáciles, sencillos y 
descriptivos? 

P16 La página de inicio tiene una dirección URL fácil de 
recordar? 
Las etiquetas significativas, los colores usados en los 

P17 fondos y el apropiado uso de bordes y espacios en 
blanco facilitan a los usuarios a identificar un conjunto de 
ítems? 

P18 Los íconos son visual y conceptualmente distintos pero 
mantienen una armonía? 

P19 | El sitio carece de páginas huérfanas o link rotos? 
La información que contiene el sitio es actualizada y 

P2011 
fidedigna? 

Poy Es notoria la distinción de los campos “requeridos” y 
“opcionales” en una página? 

Poo El sitio está libre de errores tipográficos y de errores 
ortográficos? 

P23 | El sitio previene al usuario de cometer errores? 

PoO4 Los mensajes de error son escritos en lenguaje sencillo 
con suficiente explicación del problema? 

Po5 El tamaño del cuadro de texto es suficientemente grande 





para manejar la longitud de las consultas más comunes? 
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P26 | El sitio es agradable a la vista del usuario? 

Po7 El sitio hace que la experiencia del usuario sea más fácil 

y rápida que si no se tuviera la aplicación? 

El diseño de la página de inicio alienta a los usuarios a 

explorar más del sitio? 

El sitio es fácil de navegar para usuarios con muy poca 

experiencia en la Web? 

P30 El sitio permite que el usuario evite recordar información 
de un lugar a otro? 








P28 





P29 




















TABLA 5 COMPONENTES DE USABILIDAD Y CRITERIOS HEURÍSTICOS JUNTO AL PESO ESPECÍFICO DE CADA 
COMPONENTE 


Posteriormente los informes son almacenados en un repositorio de datos, que 
se visualiza en la Fiura 4. 


SITIO 
g CODSIT 


simi 





COMPONENTE 
PREGUNTA peo: Nombre de colu.... Tipo comprimi... 
Nombre de colu... Tipo comprimi... % COD_COMP smallint 


COD_PRE smallint 


- 


8 


COMPONENT nchar(50) 
RESPUESTA PREGUNT nchar(300) 
Nombre de columna Tipo de datos Permitir v... COD_COMP smallint 


RESPUEST smallint E componente char(50) 











COD_SIT smallint H 
COD_PREG smallint H 
Y COD_RES int O 
COD_TIPRES smallint H 
n 

«| [ o] 


FIGURA 4. REPOSITORIO DE DATOS EN MICROSOFT SQL SERVER 2014 


Con fines de experimentación preliminar se utilizaron 35 evaluaciones de sitios 
Web de contextos variados (en áreas de educación, finanzas y e-commerce). 
Cabe mencionar que las evaluaciones fueron realizadas por expertos en 
usabilidad obteniendo de esta forma el conjunto de datos suficientes para ser 
procesados mediante la aplicación de técnicas minería de datos. 


Los datos fueron recibidos en formato de hoja electrónica a fin de que sean 
remitidos de manera fácil, por lo que fue necesario importarlos a SQL Server. 
Al encontrar errores, se eliminó el ruido utilizando diversas estrategias para 
rellenar datos faltantes, en blancos y datos inconsistentes. Por ejemplo se 
remplazó el valor “cumple” por la *s” en la valoración de las preguntas. También 
se creó un campo clase “eval” con el que se define la evaluación de usabilidad 
de cada sitio web analizado, con un valor: buena, mala y parcial. Finalmente se 
aplicó integración de servicios de SQL para unificar la base de datos fuentes, 
logrando obtener una base de datos adecuada para aplicar la minería de datos. 


4.2 Generación y utilización del conocimiento adquirido 

Existen varias técnicas de minería de datos que pueden proporcionar 
información útil para establecer patrones que sirvan de referencia para detectar 
tanto casos de éxito como falencias en las páginas web analizadas. A 
continuación se describen algunos de los resultados obtenidos utilizando la 
herramienta disponible en Analysis Service de Visual Studio y Sql Server 2014. 
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En Ficura5 se muestra la base de datos para aplicar las técnica de minería 








APRENDIZAJE1 
EFICIENCIA2 
MEMORIZAR 


SATISFACCI... 


eval 

















FIGURA 5 REPOSITORIO DE DATOS PARA MINERÍA EN ANALYSIS SERVICE SQL SERVER 2014 


4.3 Técnicas de minería de datos 


Para entrenar y probar un modelo se dividen los datos en dos conjuntos: el 
conjunto de entrenamiento (70%) y el conjunto de pruebas (30%). Esta 
separación garantiza que la validación de la precisión del modelo sea una 
medida independiente. La precisión del modelo se obtiene dividiendo el número 
de clasificaciones correctas por el número total de instancias [21]. 


Se utiliza la herramienta Analysis Service de Visual Studio, SQL 2014 [3] [6]y el 
algoritmo a priori para descubrir reglas de asociación con un valor de minconf = 
10 (100%) y un valor de minsup = 0,1 (10%). El algoritmo a priori, uno de los 
más utilizados para la minería asociación, devuelve muchas reglas que podrían 
ser irrelevantes. Para filtrar estas reglas, usamos plantillas o limitaciones [22] 
que seleccionan aquellas reglas que son relevantes para el objetivo de este 
trabajo. Por ejemplo, interesan aquellas reglas de asociación que tienen como 
antecedentes diferentes componentes y características y como consecuente la 
evaluación global. También podríamos estar interesados en las reglas que 
combinan características de usabilidad cuando la evaluación es buena. Para 
eliminar reglas redundantes, se utiliza un subconjunto de las reglas de poda 
propuesto en [23]. Dada la regla A, B > C y A => C, la primera regla es 
redundante porque da poca información adicional. Por lo tanto, puede ser 
eliminada si las dos normas tienen valores de confianza similares. Del mismo 
modo, teniendo en cuenta la normativa A > B y A > B, C, la primera regla es 
redundante ya que la segunda consecuencia es más específico. Por lo tanto, la 
regla redundante se puede eliminar la condición de que ambas normas tienen 
valores de confianza similares 


4.3.1 Reglas de asociación 

El algoritmo reglas de asociación disponible en la herramienta de Microsoft es 
una implementación del algoritmo a priori [4] y recorre un conjunto de datos 
para hallar elementos que aparezcan juntos en un caso. En los experimentos 
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realizados se establecieron el soporte y la confianza para el algoritmo a priori: 
soporte 10% confianza 100%. 


Algunas de las reglas de asociación obtenidas se ejemplifican en la figura 6. 














2 Pr... Importancia + Regla 

1,036 AS 

1,000 MM 1,036 p10 =P, pi =5S ->Eval = Mala 
1000 MM 1,035 p10 =P, p13 =S ->Eval = Mala 
1000 MUA 1,036 p10 =P, p14=5S ->Eval = Mala 
1000 MM 1,035 p10 =P, p18 =S -> Eval = Mala 
1,000 MU 1,036 p10 =P, p27 =S ->Eval = Mala 
1,000 MM 1,036 p10 =P, p5=5 ->Eval = Mala 
1,000 MMS 1,035 p10 =P, p8 =5 -> Eval = Mala 
1000 MM 1,025 p30 =N, p26 =5 -> Eval = Mala 
1000 MO 1,025 p30 =N, p27 =5 -> Eval = Mala 


FIGURA 6 RELACIÓN ENTRE ATRIBUTOS(PREGUNTAS DE LA PLANTILLA) 








La variable p10 es el identificador de la pregunta número 10 del cuestionario de 
evaluación (Tasa 5). La regla p10 = P -> Eval = Mala con probabilidad de 1 y 
una importancia de 1.036 indica que se debe analizar el título de la página de 
inicio para proveer buena visibilidad y ser localizada por motores de búsqueda. 


4.3.2 Arboles de decisión 

Un ejemplo de resultado parcial de la aplicación del análisis con la técnica de 
Árbol de decisión y el impacto relativo entre los componentes de usabilidad se 
puede observar en la Figura 7, el componente con mayor probabilidad de 
incidencia es el componente Eficiencia en su valor negativo con una 
probabilidad del 56.40%, lo que es una guía para priorizar el análisis de este 
componente en el website. También se debe relacionar al componente 
Aprendizaje ya que muestra una baja relación de incidencia entre los dos. 




























































































































a Y ONES o SERE ERES 
E EN —— Bai 
A] y SATISFACCIONS Az =a 
Escenarios totales: 181 
Valor Esce.... Probabi... Histograma 
7 E ES v] Ausente 0 0,00% 
E ————— Y] baja 103 56,40% Ea 
ia Y| buena 0 0,72% 
=== Y] parcial 78 42.08% MN 
APRENDIZAJE1 
asa lA AKÁAO 
mo ES y EFICIENCIA2 = 'no 
APRENDIZAJE1 
FIGURA 7 RELACIÓN ENTRE CRITERIOS 











4.3.3 Algoritmo Bayes Naive 
Es un algoritmo de clasificación para el modelado de predicción que permite 
descubrir relaciones entre columnas de entrada y columnas de predicción. 
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En la tabla 5 se muestran los valores de los atributos que favorecen a una baja 
usabilidad. Se interpreta que si el título de la página de inicio no provee una 
buena visibilidad (pregunta 10) para ser localizada por los buscadores 
determina una falencia en la usabilidad con el 100% de probabilidad 


Atributos Valores Favorece Mala 


p10 P 100,000 
p7 IN 168,215 
pló UN 164,047 


pS N 41,326 


TABLA 6 DISTINCIÓN DE LOS ATRIBUTOS 











Modelo de minería: |bayes Y | Visor: | Visor Bayes naive de Microsoft v| Leyenda de minería de datos 


Red de dependencias | Perfiles del atributo | Características del atributo | Distinción del atributo 














Color Significado Distribuc 
Y] Mostrar leyenda Barras de histograma: [4 [$ Predicción: [Eval v || 5 0,498 
e eso 
Perfil 
eS car Ausente 0,000 


Población .... Mala Parcial Buena ausente 
pops a Tamaño: ... Tamaño: 217 ” Tamaño: 728 Tamaño: 378 Tamaño: 0 


Os 
P 
>. $ A E 
O Ausente 
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O Ausente Explor, 
: Propiet 
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Lo Lame 
Os El Bási 
E E- Ñ L == 
O Ausente 


u 
OS 
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FIGURA 8 PERFIL DEL ATRIBUTO 


La Figura 8 representa la relación entre atributos de entrada y los de predicción. 
El atributo más significativo en el perfil del atributo está relacionado con el 
componente satisfacción y la pregunta P30 (permite al usuario recordar 
información de un lugar a otro), en esta predicción se puede visualizar que 
tiene una incidencia del 50% de probabilidad de que ocurra. 
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5 Estado actual de desarrollo y cronograma de tareas por realizar 


Hasta el momento, se han tabulado los datos y se han analizado los 
parámetros de incidencia baja y parcial de los resultados de las encuestas. 


Se están realizando pruebas de minería de datos basados en reglas de 
asociación, arboles de decisión y clasificador bayesiano a los componentes y 
atributos de usabilidad. 


Se está diseñando una aplicación en el lenguaje de programación CH.net y 
como motor de base de datos SQL 2014 [24], para visualizar los patrones 
encontrados y el conocimiento adquirido de forma entendible para el usuario. 


Los resultados parciales obtenidos hasta el momento se han publicado en el 
congreso IHC 2014. [25] 


En la Tasa 7 se describen las actividades y los tiempos asociados para culminar 
esta propuesta. 





Actividad Tiempo (meses) 





Configurar/adaptar técnicas de minería de datos 2 meses 





Implementar herramienta de asistencia a la toma de 6 meses 
decisiones de usabilidad en base a las técnicas de 
minería de datos seleccionadas 








Diseñar y ejecutar experimentos para validar la 4 meses 
propuesta 
Escribir el reporte de Maestría 6 meses (en paralelo 











con actividades previas) 





TABLA 7 CRONOGRAMA DE TAREAS 
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